home *** CD-ROM | disk | FTP | other *** search
/ The Original Shareware 1.1 / The Original Shareware (WeMake CDs)(Volume 1.1)(CDs, Inc)(1993).iso / 7 / dszwords.zip / PCMAGTST.TXT < prev   
Text File  |  1991-04-22  |  8KB  |  194 lines
  1.    PC Magazine Communications Software Testing Irregularities
  2.  
  3. The April 30 1991 issue of PC Magazine features reviews of 17
  4. async communications programs that allegedly support ZMODEM and
  5. 16550A FIFO UARTs.  This issue has prompted a number of messages
  6. questioning the published test results and the procedures used
  7. to generate them.
  8.  
  9. PC Magazine sent files from a 25 MHz 386 computer to an 8 MHz
  10. IBM PC/AT upgraded with the 16550A UART chip.  Speeds to 115200
  11. bps were used with hardware handshaking.  Software handshaking
  12. is normally used with high speed direct computer to computer
  13. connections, but this was disabled.
  14.  
  15. PC Magazine reported that Professional-YAM generated so many
  16. errors and retries at 115k that throughput fell sharply.
  17.  
  18. Randol N. Tigrett, PC Magazine LAN Labs Project Leader, claims
  19. both he and Sara Parker attempted to contact Omen Technology
  20. about these errors.  While Omen had numerous contacts with PC
  21. Magazine at the time concerning lists of features, there is no
  22. recall of being contacted about technical problems and/or error
  23. messages during the performance tests.  None of the FAX messages
  24. Omen received from PC Magazine mentioned any technical problems,
  25. and no electronic mail messages were received.  Scott McGinnis,
  26. author of COM-AND, another program that suffered from improper
  27. PC Magazine test conditions, was not contacted either.
  28.  
  29. PC Magazine mentioned in a sidebar that Professional-YAM with
  30. software flow control transferred files faster than all other
  31. programs tested.  PC Magazine has refused to disclose these
  32. performance figures, either in the original article or in
  33. response to repeated interrogatives to the test director on PC
  34. Magazine's CompuServe bulletin board.  PC Magazine's refusal to
  35. disclose these figures is troubling: was this information
  36. covered up because the numbers would have raised questions about
  37. the test procedures, or because the information would have
  38. refuted PC Magazine's speed rankings?
  39.  
  40. PC Magazine's refusal to divulge the text of the error messages
  41. and other vital information about the tests forced me to prepare
  42. this rebuttal.
  43.  
  44. My tests with a variety of configurations (shown below) strongly
  45. suggest that failure to issue a "handshake on" command was the
  46. one and only cause of Professional-YAM's failure to replicate
  47. its first-place performance with hardware flow control.  Pro-YAM
  48. Tests (not shown here) show no speed difference between hardware
  49. and software flow control in direct connect tests at 115 kbps.
  50. The cause of Professional-YAM's substandard performance was
  51. improper setup.
  52.  
  53. In my tests, Professional-YAM operated without error at 115
  54. kbps, outperforming ProComm Plus 2.0 by at least 28 per cent.  I
  55. invite readers to repeat these tests themselves.  Copies of the
  56. test files are available on TeleGodzilla.  Copies Omen's ZCOMM
  57. shareware communications program may be used for these tests.
  58.  
  59. The ProComm Plus 2.0 transfer failures result from a ProComm bug
  60. that disables input on 16550A/AF chips.  This bug appeared in a
  61. variety of terminal emulation and file transfer tests on a
  62. variety of machines.  Reports of similar problems at speeds as
  63. low as 2400 bps have appeared on bulletin boards.
  64.  
  65. The purpose of this paper is not to single out ProComm for
  66. crticism.  ProComm Plus 2.0 was tested here because PC
  67. Magazine's flawed tests ranked it the fastest.
  68.  
  69. An IBM AT modified for 8 MHz clock speed is the only
  70. configuration I have tested that has not exhibited problems with
  71. ProComm Plus 2.0 disabling 16550A serial input.  Just replacing
  72. the AT's CPU clock crystal with the stock IBM part causes
  73. problems.  PC Magazine has not explained their choice of such an
  74. antique as the sole receiving test machine for tests at speeds
  75. at least three times faster than today's fastest available
  76. dialup modem.
  77.  
  78. The tests are, however, relevant to direct connect transfers
  79. between PC's.  (Simple cables and software flow control are the
  80. norm for this application.) To be useful in such applications,
  81. programs should be able to transfer entire directory trees with
  82. a single command and maintain the most recent revision of a file
  83. on both machines.  Unfortunately, no mention is made of which
  84. programs have these essential ZMODEM features.
  85.  
  86. A further disappointment is the failure of PC Magazine to test
  87. ZMODEM compression with their "compressible file".  The results
  88. show, as the reader can easily verify, that ZMODEM compression
  89. is quite effective on suitable files.
  90.  
  91. I was also disappointed that no mention was made of the programs
  92. that violate the ZMODEM protocol description in one or more
  93. respects.
  94.  
  95. The sine qua non of a file transfer protocol for async dial-up
  96. applications is its performance and integrity under noisy line
  97. conditions.  How long must we wait for this critical facet to be
  98. tested?
  99.  
  100. Since PC Magazine's prose indicates raw speed is a prime
  101. determinant of a program's quality, it is incumbent on the
  102. reviewers to get their facts right.  As the developer of the
  103. ZMODEM protocol, and as the author of a program that was not
  104. given a chance to perform up to standard, I request that PC
  105. Magazine repeat these tests under suitable supervision.  If the
  106. results or performance rankings of correctly executed tests are
  107. different from the published values and graphics, I request that
  108. corrected test results, graphics, and associated review comments
  109. be properly publicized and published without undue delay.
  110.  
  111. Chuck Forsberg, Omen Technology INC  April 22, 1991
  112. ----------------------------------------------------------------------------
  113.  
  114. The configurations described here duplicate PC Magazine's
  115. published test configurations as closely as possible.
  116.  
  117. Source file: b17mh.gif, 356542 bytes, available on CompuServe
  118. and TeleGodzilla (503-621-3746 24/96).  A similarly sized
  119. ZIPfile may be used without affecting the results.  Transfers
  120. used b17mh.gif except as noted.
  121.  
  122. Compressible file: RTTYPIX, 343851 bytes, a concatenation of
  123. the 30 line printer prcture (RTTY art) files in my collection.
  124.  
  125. The source files chosen were long enough to allow accurate
  126. manual timing with a stopwatch.  They were stored on ramdisk.
  127.  
  128. Transfers completed without errors except as noted.
  129.  
  130. Sending machine:  Micronics 33 MHz, 128k cache or Intel 386 ISBC 18 MHz
  131.  
  132. Receiving Machine: IBM 5170 PC-AT s/n00212305170 modified for 8 MHz,
  133. replacement HD and controller (Coretest 2.7 performance index: 1.890),
  134. CGA clone, Hayes ESP board.
  135.  
  136. Cabling: Special null modem connection with TR/DCD and RTS/CTS crossovers
  137.  
  138. Commands:    speed 115200 handshake on sz -ym d:b17mh.gif
  139. -or-        speed 115200 handshake on sz -yZ d:rttypix
  140.         speed 115200 handshake on t
  141.     (ProComm set for ZMODEM auto d/l, crash recovery off)
  142.  
  143. Professional-YAM to Professional-YAM: @115kbps
  144.     50 50 50        71 kbps average
  145. Professional-YAM to Professional-YAM 17.62: @115kbps
  146.     53 53            67 kbps
  147. Professional-YAM to DSZ.EXE pD16384 @115 kbps
  148.     50 50 50        71 kbps av
  149. Professional-YAM to DSZ.COM @115 kbps
  150.     82 82 83        43 kbps av
  151. Professional-YAM to ProComm Plus 2.0: @115kbps
  152.     64 64 64        56 kbps av
  153.  
  154.  
  155. As Above, to IBM PC-AT at 6 MHz (stock IBM crystal), Hayes ESP board.
  156.  
  157. Professional-YAM to Professional-YAM: @115kbps
  158.     67 67 67        53 kbps average
  159. Compressible file: 38 38    90.5 kbps  ZMODEM
  160. Compressible file: 80        43 kbps  Kermit
  161. Professional-YAM to Professional-YAM 17.62: @115kbps
  162.     74 71 72        49 kbps av
  163. Professional-YAM to DSZ.COM @115 kbps
  164.     112 112            32 kbps av
  165.  
  166. Professional-YAM to ProComm Plus 2.0: @115kbps
  167.     FAILED            FAILED
  168. Compressible file:    FAILED
  169.  
  170.  
  171.  
  172. Sending to Everex System 3000 386 16 MHz 64k cache, 16550A
  173.  
  174. Professional-YAM to Professional-YAM @115kbps
  175.     35 35            102 kbps
  176. Compressible file: 19 19 19    181 kbps ZMODEM
  177. Compressible file: 48        72 kbps  Kermit
  178. Professional-YAM to Professional-YAM 17.62: @115kbps
  179.     48 48            74 kbps
  180. Professional-YAM to Professional-YAM 17.62: @38.4 kbps
  181.     110 110            3241 cps
  182.  
  183. Professional-YAM to ProComm Plus 2.0: @115kbps
  184.     56 55 55        64 kbps
  185. Compressible file    FAILED    FAIL     ZMODEM
  186. Compressible file 53        65 kbps Kermit
  187. Professional-YAM to ProComm Plus 2.0: @38.4 kbps
  188.     120            2971 cps
  189.  
  190. *********************************************************
  191. *       NOTE:  A 16550A/16550AF must be used!!          *
  192. *********************************************************
  193.  
  194.